home *** CD-ROM | disk | FTP | other *** search
/ NeXT Education Software Sampler 1992 Fall / NeXT Education Software Sampler 1992 Fall.iso / Programming / Source / WAIS / ir / README < prev    next >
Encoding:
Text File  |  1992-02-02  |  3.6 KB  |  86 lines
  1. README: WAIS Unix release 8 b3                Fri Sep 13 1991
  2. Brewster Kahle                     Thinking Machines Corp
  3. Brewster@think.com 
  4. ------------------------------------------------------------------------
  5.  
  6. WARRANTY DISCLAIMER
  7.  
  8. This software was created by Thinking Machines Corporation and is distributed 
  9. free of charge.  It is placed in the public domain and permission is granted 
  10. to anyone to use, duplicate, modify and redistribute it provided that this 
  11. notice is attached.
  12.  
  13. Thinking Machines Corporation provides absolutely NO WARRANTY OF ANY KIND with
  14. respect to this software.  The entire risk as to the quality and performance 
  15. of this software is with the user.  IN NO EVENT WILL THINKING MACHINES 
  16. CORPORATION BE LIABLE TO ANYONE FOR ANY DAMAGES ARISING OUT THE USE OF THIS
  17. SOFTWARE, INCLUDING, WITHOUT LIMITATION, DAMAGES RESULTING FROM LOST DATA OR
  18. LOST PROFITS, OR FOR ANY SPECIAL, INCIDENTAL OR CONSEQUENTIAL DAMAGES.
  19.  
  20.  
  21. This directory contains software for creating a sample server, protocol
  22. software, and a low level user interface building tool.  See the readme
  23. file in the next directory up for details on how use this software.  This
  24. file will describe the overall structure of this directory.
  25.  
  26. To index files, a set of files called ir*.[ch] are used.  The file
  27. ircfiles.c allows for customization to new file formats and may want to be
  28. added to by sophisticated users.  irbuild.c contains the main program for
  29. this.
  30.  
  31. To create a server, the file server.c is used.
  32.  
  33. To make a server that does not use the inverted files (because you have
  34. your own database of some sort), change the ir.c file.  This is not as easy
  35. to do as we would like it to be.
  36.  
  37. The file ui.c is a low level tool for creating user interfaces.  The
  38. directory ../ui is built on top of that file.
  39.  
  40. The protocol software is broken into z39.50 files (z*) and wais protocol
  41. extension files (w*).  These files will be changed dramatically as the
  42. standards committee makes changes.  We will attempt to keep the ui.c
  43. interface the same.
  44.  
  45. The rough flow of a question from user to server is shown below.  These are
  46. not strictly levels of calling, rather, many of these files are tools that
  47. are called from the higher levels.
  48.  
  49. ../ui/shell-ui.c    /* a user interface, could be ../x, any other */
  50.     ui.c        /* user interface toolkit */
  51.    wprot.c + wutil.c     /* wais protocol */
  52.   zprot.c + zutil.c    /* Z39.50 protocol */
  53.  transport.c        /* ready the message for transport */
  54. sockets.c        /* use sockets as a transport */
  55.  transport.c        
  56.   zprot.c + zutil.c    
  57.    wprot.c + wutil.c     
  58.     ir.c        /* server toolkit file */
  59.      irsearch.c        /* searching the inverted file indices */
  60.  
  61. If you want to make a new type of server look in ir.c;
  62. if you want to make a new user interface, look in ui.c.
  63.  
  64.  
  65. The Indexer
  66.  
  67. This is a very simple inverted file system with primitive word weighting.
  68.  
  69. What is created is an inverted index of all the words over 2 characters
  70. long in the input text.  Words are truncated to 20 characters.  Each word
  71. has weight associated with it; the first time it occurs in a document it
  72. gets an extra weight of 5, and from then on, it gets a weight of 1 in that
  73. document.  Words in the headline are worth an extra 10.
  74.   Searching is done by finding the documents with the most word weights for
  75. each word in the query.  Relevant document's words are worth 10 times less.
  76.  
  77. For indexing files the structure is:
  78. irbuild.c        /* top level main */
  79.  irtfiles.c         /* parses the file */ 
  80.       (using ircfiles.c) /* rules for parsing files into documents */
  81.   irfiles.c        /* file structures except inverted file */
  82.    irext.h         /* defines interface with particular backends */
  83.     irhash.c        /* add_word definition for inverted file */
  84.      irinv.c        /* inverted file definition */
  85.  
  86.